embedding

Embedding漂移(Embedding Drift)

根本原因:优化景观(Optimization Landscape)的破坏。模型的训练过程可以看作是在一个复杂的、高维的“误差曲面”上寻找最低点(最优点)。嵌入层作为模型的第一层,其输出定义了后续所有层所处理数据的初始表示空间。具体过程:不稳定的梯度:如果嵌入向

drift 漂移 embedding embeddingdr 2025-09-21 23:10  2

从 300 维到 4096 维:embedding 嵌入

几年前,我写过一篇关于 embedding (嵌入) 的论文。我当时写道,200-300 维的 embedding 在业界相当普遍,并且在训练过程中增加更多维度对于下游任务(如分类、推荐、语义搜索、主题建模等)的效果存在边际递减。

api transformer bert embedding 2025-09-02 16:34  5